大模型催生新的智能终端时代到来。
其他
重磅特稿：大模型重新定义终端创新
由ChatGPT引领的生成式AI大模型风潮已经席卷全球，人类社会从未像现在这样离AI世界如此之近，AI也有史以来真正走进了用户的多个生活场景。
作为连接多个生活场景、硬件消费市场、信息消费市场、基础通信和互联网应用的枢纽，智能终端在AI大模型时代将扮演何种角色引发行业热切关注，大模型要不要装在手机里？生成式AI引入，将催生终端侧怎样的革命性变革？终端AI的未来，大模型与手机：颠覆还是相容？
大模型轻量化移动化、由云向端是产业趋势
从今年四、五月份开始，大模型从云到端迈进的产业趋势就已明确。
4月份，微软正式开源DeepSpeedChat训练模型，Meta开源LLaMA，在AI开发者中快速兴起基于LLaMA的训练风潮，加速Lora等训练方法的渗透，Deepspeed与Lora模型给中小开发者提供了低成本，快速训练专属于自己的小模型的完整工具，大模型梯度分布的格局加速建立。与此同时，知名华人AI研究者陈天奇牵头开发出能在各类硬件上原生部署任意大型语言模型的MLC-LLM解决方案，可将大模型应用于移动端（例如 iPhone）、消费级电脑端和Web浏览器，MLC-LLM为中小开发者在算力较低的环境或者边缘进行模型的推理搭建了基础。这三大工具，形成了最初大模型走向边缘的“基建雏形”。
5月份，谷歌发布了适用边缘的大模型PaLM2（打通从云到边的AI全链路，轻量版Gecko可以在手机上运行，一个更小但具有更高质量的模型显著提高了推理效率，降低了服务成本，并使模型的下游应用程序适合于更多的应用程序和用户，使AI边缘部署成为可能）是一个重要里程碑，此前大模型在边端的应用主要通过API接口调用，模型本身的训练和推理仍在云端进行，对边缘侧终端以及芯片更新没有太大需求。轻量化模型可以降低边缘侧模型部署成本，使AI模型离线应用成为可能，从而提供定制化、低时延、高安全性与隐私性的下游应用，开拓AI模型在边缘侧推理的场景，将终端AI发展进程往前大大推进了一步。一个离线的，永远在线的大语言模型将为用户体验开辟全新途径。同时谷歌还发布了AI+安卓、AI+边缘设备（主要是可穿戴设备）以及AI+安卓App的Demo和专业为安卓开发程序的机器人Studio Bot，建立基于安卓的边缘AI生态雏形。框架上，谷歌把大模型做到移动端、边缘侧，这是一个趋势的开始，由此开启了从云到端的终端交互革命。同期国内厂商在边缘AI大模型上也加速布局，如阿里通义+天猫精灵智能音箱、百度文心+小度灵机、中科创达Ruki，华为、vivo、小米等也加快了端侧大模型的研发投入，越来越多的巨头开始往终端去走。
生态上，随后iPhone体系下的 ChatGPT App 正式上线则是大模型走入终端的另一个重要标志。大模型作为AI时代的终极操作系统，ChatGPT超级APP只是第一步，智能手机作为交互最为频繁、刚需应用最多的终端，天然具备海量交互数据的入口，能为大模型升华提供源源不断的“动力”，而在手机设备终端直接运行大语言模型的主要好处在于能够在保护用户隐私的情况下给用户带来个性化的体验，因此，大模型与终端的融合是必然。从五月份开始，生成式AI由云向端的迈进不断加速，以大模型为入口向终端应用扩散。
综上，我们看到，除了开源社区和前沿学者正在不断加速模型边缘推理及终端部署的探索，越来越多的大厂也加入到了布局边缘-终端大模型的新一轮“军备竞赛”中来，随着两方的共同努力，已经可以实现对大模型进行量化、剪枝、蒸馏，轻量化、小型化以适应移动端场景，并结合稀疏计算等方式降低对边缘端侧算力需求，在终端上跑起来，在边缘侧发挥价值和作用。目前，开源社区已经可以把Llama大语言模型能够运行在安卓手机CPU上，回答一个问题大约需要5-10秒的时间。
与此同时，在硬件侧，高通通过与其芯片配套的全栈AI优化方案（模型压缩技术）显著的降低了运行时延和能耗，从而实现了模型在手机算力上的安全高效推理，后期将推出支持本地运行超100亿参数AI模型的移动设备芯片，让AI边缘部署走进现实。这意味着虽然当前大部分的训练与推理仍在云端完成，但在大模型移动化和轻量化趋势下，同时用户对隐私、网络安全和低延迟的需求将增强，预计基于降本增效的考量，未来简单推理下沉到终端会成为主流趋势。而从用户和开发者侧来看，移动端AI芯片的重要意义在于降低了消费级AI应用的准入门槛，从而赋予应用开发者推出轻量级AI产品的可能。
随后高通提出云边一体的混合AI路径，深度开发边缘AI，验证了这一趋势。在混合AI场景中，边缘大模型是云端大模型的感知器官，设备AI更进一步保护隐私，承担更多处理，提供更个性化的提示给云：通过设备学习和个人数据，设备创建用户个人形象，与调度程序协作，基于上下文提供更好的提示；对简单查询，较小的大模型可在设备上运行无需云交互，如果用户需要复杂信息，则本地将需求转化为提示发给云端大模型并返回详细答案。边缘AI尽管在计算性能方面不如云端AI芯片，但拥有可以保护数据安全和隐私、降低功耗（终端设备中用相对低的功耗执行AI计算）、低延时（对于自动驾驶）、低成本布局等显著优势。
在AI算力供给侧，本身存在着巨大的“集中式”算力与“分布式”需求的错配。在生成式AI向实际场景落地时，边缘算力的重要性加速凸显。边缘计算为大语言模型提供低延迟、高并发、增强数据安全与系统鲁棒性等部署环境与技术条件，未来算力将从云端到边缘梯度分布，边缘算力凭借隐私、时延与成本优势，作为桥梁，预处理海量复杂需求，并将其导向大模型，成为大模型及AI应用触及万千用户与场景的通道。在移动端部署大模型，不仅可以降低服务成本、改善延迟，同时可以提升安全性，保护隐私；而随着移动端算力持续提升，叠加大模型轻量化发展，为大模型移动原生提供了发展基础和需求动能。
由此，在业界共同推动下，大模型的轻量化成为重要产业趋势，大模型从云端走向终端，AI大模型的压缩和端侧推理框架的轻量化，加上边缘算力的跃升，实现大模型在边缘-端侧部署、加速AI与智能终端融合的核心技术条件目前已基本就绪。在轻量级AI模型助力下，智能硬件的能力边界将不断拓宽，成为新的AI流量入口。手机等智能硬件的使用体验将大幅提升，AI智能硬件厂商则有望借助AI模型提升硬件价值量，开启新一轮创新周期。大模型从云到端正的大趋势确立，终端AI成为下一个兵家必争之地。
7月份，苹果正式宣布启动开发AppleGPT，加入终端AI/边缘大模型战局，是对这一趋势和共识的最好确认。
大模型由云向端第一场景：从智能手机到AI手机
此次AI大模型浪潮是由软件先行定义一切基础，在催生算力硬件需求之后，迈向各类终端变革与应用创新的新阶段。一个由基础模型、低成本定制工具、模型优化工具、边缘算力构建的终端AI大模型生产与利用体系正在形成，大模型将带动新一轮终端创新周期。尽管当前AI在终端上的应用仍然类似ChatGPT网页端功能的延伸，但当轻量级边缘大模型AI可在移动设备上工作，并且速度足够快，即便在离线情况下也能在设备上运行出色的交互式应用程序，大模型移动原生将成未来主流，多模态大模型将给手机行业带来新的核心能力。随着AI与终端融合的进一步深入，智能终端的边缘算力有望持续升级，对硬件提出更高的要求，成为手机终端软硬件创新的新引擎。在未来几年内，大模型将会越来越多地运行在终端设备上，大模型AI将成为手机终端行业的主要推力，掀起手机终端产业创新的范式革命。万物搭载大模型，大模型赋能万物的真智联网时代也将加速到来。
智能手机：大模型运行在终端的第一个重要市场
在移动互联网时代，智能手机经历了3G换机、4G换机和5G换机三个阶段。5G换机高峰过后，智能手机缺乏新的创新趋势。而大语言模型和类似ChatGPT应用的诞生为未来人工智能手机的变革提供了新的思路：
（1）更加智能化的AI助手和知识图谱。智能手机可以集成更加智能的AI助手和知识图谱，利用用户数据和上下文提供更加个性化的服务，如聊天、问答、知识推荐等。这可以成为手机的重要功能入口和使用场景。
（2）生成式内容应用。如Stable Diffusion可以用于智能手机上的图像生成；ChatGPT可以用于智能手机上的自动对话。这些应用可以让智能手机具备较强的内容生成能力，丰富手机上的体验与交互。
（3）新的交互方式。如语音交互、AR虚拟显示和手势交互等，结合生成式AI内容，可以在智能手机上实现更加自然和更有沉浸感的人机交互方式。这也是智能手机创新的一个重要方向。
（4）分散式应用与服务。大模型AI技术可以在设备端部署，提供更加分散的服务与体验。如ChatGPT可以在智能手机本地部署，提供离线的聊天体验。这可以减少对网络连接和云服务的依赖，实现更加个性化的设备端功能。
大模型时代，用户需求的拆分及功能的调用将在 AI 辅助下更高效。以ChatGPT为代表的语言类大模型事实上已经成为了下一代用户交互的重要组成部分，大模型进入手机将会把下一代用户交互范式带入手机，大语言模型有望成为复杂AI系统的控制中心和交互入口，智能助理可能会是下一个超级应用，个性化自然语言大模型使得语音助手体验感大幅提升，使得人机交互更接近真人对话。而随着大模型向多模态和具身智能演进，将全面提升手机交互、拍照、影音等产品体验竞争力，刺激新的换机需求。
当然，大模型进入手机，手机上运行的大语言模型应该会首先从更小的版本（例如10亿参数以下的模型）开始进入应用，然后再逐渐增大参数量。经过量化、剪枝、蒸馏等方式优化大模型后，新一代旗舰版手机芯片应该就可以承载运行十亿参数级大模型。
大模型时代下，对于手机业者，大模型应用于手机端，将在带来流量入口变化的基础上，可能会深刻改变手机厂商的商业模式。但未来的应用格局大概率依然会服从“二八定律”，大约有80%会是现在的应用接入大模型能力后的“体验升级版”，有20%是基于大模型的新能力开发出的AI原生应用，除了界面入口发生变化，总体上不会颠覆现有的应用格局。
从智能手机(Smartphone)到人工智能手机(AI Phone)，大模型将会成为推动手机硬件技术创新的新动能。超大规模参数大模型的训练和推理，即便在云端也亟待突破五堵墙：内存墙+算力墙+通信墙+调优墙+部署墙，在终端上内存墙和算力墙更为显著。大模型的参数量比现有主流运行在手机上的小模型（参数量<10M）大了两个数量级，而且未来多模态大模型参数量会进一步快速增大，所以要在手机上运行大模型，必然会加速推动手机芯片在内存和AI加速器领域性能跃升。首先内存是一个重要瓶颈，目前即便小版本的Llama 70亿参数的模型，也没法完全装入手机的内存中，而必须部分放在手机的闪存中运行，这就导致了运行速度比较慢。为了满足大模型的需求，将推动手机内存以及接口技术以更快的速度进化，加速大容量内存以及HBM高速内存接口发展。其次是手机芯片上的AI加速器需要重新设计来适配大模型，AI加速器首先必须能有更大的内存访问带宽并减少内存访问延迟，同时在内部逻辑设计上采用低精度量化计算（例如4bit甚至2bit）和稀疏计算，来减小相关计算单元需要的芯片面积，减小模型在内存中需要的空间（例如4bit量化精度相对于之前的标准8bit精度就会内存需求减半）。我们预估下一代的高通、联发科、苹果M和华为海思的旗舰平台，应该是能跑得动几十亿到百亿参数规模的终端AI大模型的。
总之，手机要支持大模型和AIGC功能，需要在处理器、专用加速单元、存储、存储接口、系统框架和定制化芯片等方面进行整体提升，这将成为今后手机产业链发展的新重点。智能手机最终升级为人工智能手机，很可能会推动新的换机潮。
手机之外：大模型启动终端创新新周期
除了手机之外，AIoT智能家居、XR头显、智能汽车和机器人也是大模型进入终端的四个重要市场。细数终端大模型场景应用：短期看，音箱、耳机、手机是核心载体，落地相对较快；中期看XR和智能汽车，MR愿景未来可期，智能汽车是大模型进入终端的另一个重要市场；远期看具身智能(Embodied AI)+机器人，星辰大海。
AIoT智能家居：交互体验升级有望促进品类创新、激发终端换机需求
AI赋能下有望提升以智能音箱为代表的AIoT智能终端智能化水平，过去由于智能化水平不足，智能家居等产品存在伪智能、交互效率低下、个性化服务难等痛点。ChatGPT的发展提升了语音作为人机交互方式的重要性，像智能音箱作为入口的价值被重新挖掘，同时整体全屋智能解决方案的作用将得到体现。大语言模型有望成为复杂AIoT系统的控制中心和最佳交互入口，AI大模型将会深刻改变AIoT硬件的发展方向，引发未来AIoT智能终端变革：体验感大幅提升，成为换机新动能，开启新品研发新周期。
解决智能家居典型痛点：操作复杂、手机app或者中控屏控制需要多轮操作、智能家电设备语音识别不够聪明，需要不断唤醒及输入关键词，更不要说智能家居能够理解消费者的喜好而主动推荐设置合适模式，不同家庭成员的个性化需求也得不到满足。
对于AIoT智能家居、智能穿戴产品，语音仍将是智能家居、穿戴产品最佳入口，“智能助理”将是下一个超级应用(Killer App)，推动AIoT智能终端硬件与生态升级。自然语言大模型的发展，使得机器能够更好的实现连续对话及深度语义理解，使智慧家庭真正走向智慧。一方面解决操作复杂问题，只需自然交流即可达到控制、设置、反推荐，真正成为全屋管家，另一方面，通过精准拾音、语义理解、AI智慧大脑分析，照顾到每个家庭人员不同的需求，实现不同场景的千人千面。“个性化“大模型使得语音助手体验感大幅提升，有望引领新一轮AIoT爆品创新。
（1）ChatGPT Plugin的发布为“智能助理”的出现提供了条件，让ChatGPT的能力从NLP拓展到可以获取实时信息并代替用户执行操作，用户可以直接通过人类语言指挥ChatGPT帮自己与各种应用交互。
（2）大模型具备通用性，可以微调出针对不同应用场景的“智能助理”，大大提升对用户意图的理解，对用户的反馈更加准确丰富，包括个性化服务、快速收集并处理信息、提升场景交互效率等。在居家场景，音箱中的智能助理可以帮助我们管理智能家居以及提供情感陪伴；在工作场合，耳机中的智能助理可以作为秘书帮助处理会议纪要等工作；在车内场景，座舱中的智能助理可以帮助我们与辅助驾驶或自动驾驶系统沟通，提高行程中的音乐等娱乐交互体验。
（3）智能助理会有望向“贾维斯”的方向发展。随着多模态的发展，智能助理有望越来越全能，成为AI时代的超级管家。Plugin和大模型Finetune是智能助理的核心助力。大模型基于“智能助理Jarvis”对用户的生活习惯，行动轨迹，以及保存在设备上的资料进行总结，从而给出更符合用户实际需求的答案，能够成为帮助提高学习，工作效率的帮手，并根据用户的个人喜好和使用习惯，提供个性化的建议和服务，甚至提供情感陪伴和情绪价值。
更重要的意义在于，大模型作为AI时代的终极操作系统（AIOS）可以整合分散割裂碎片化的物联网应用市场：过去AIOT生态最大的挑战是AIOT终端都是非标，不可能标准化交互，比较好的一个方式是自然语言，但自然语言以前交互效果有限，大模型出来后通过自然语言交互成为可能。以前的终端交互集中在一个手机甚至微信超级App通过扫码各种方式交互其他设备，人机交互分散到每一个AIoT终端，终将被大模型AIOS统合。
智能穿戴/XR头显终端：将形成新的流量入口
对于智能穿戴/XR头显终端：多模态技术有望打通不同形态内容的区隔，AIGC有望成为互联网的基础支撑，而内容生成的千人千面与下一代智能硬件的结合，也将催生个性化模型和更多可穿戴设备结合的发展，如基于智能手表的全方位个人健康管家等。此外，AI通过丰富内容供给、个性化反馈等能力，改变人机交互方式，XR将形成新的流量入口。AI 技术与 XR 产业生态的结合将进一步打开 XR 生态想象空间，硬件端内容理解、交互体验、智能化体验均有望显著升级。
生成式AI 赋能 XR 带来三大智能化：
（1）XR 交互智能化：生成式AI技术可以帮助 XR技术更好地识别用户的行为，从而实现更加精准的模拟。例如，AI技术可以帮助XR技术更好地识别用户的眼睛，实现更加精准的追踪，从而更好地模拟真实世界的环境。此外，AI技术还可以帮助XR技术更好地识别用户的手势，从而实现更加精准的交互。相比于现有XR交互强调交互方式，智能交互强调交互的感知、识别和理解，XR交互 + 智能交互将使实现虚拟与现实的无缝衔接。
（2）XR 内容研发和制作的智能化：AIGC突破传统内容生产瓶颈。内容吸引力不足是当前XR产业向前发展的一大瓶颈之一，AIGC通过人工智能生产内容，可以克服PGC和UGC在数量和质量上的不足，可以在创意、表现力、迭代、传播、个性化等方面，充分发挥技术优势。依赖于高算力，AIGC模式能够提高内容生成的质量和多样性，并节省生产时间，从而突破现有内容创作瓶颈，实现井喷式发展。
（3）虚拟形象智能化：虚拟形象的智能化离不开建模技术，AIGC等技术快速突破，虚拟形象的发展进入新阶段，由“数字人”变成“数智人”。一方面在大模型的助力下， AIGC技术使虚拟形象的制作成本降低、制作周期缩短、门槛降低，并获得和真人更加相似的外形、动作效果，例如在3D数字人的建模环节，AI建模相比人工建模所需时间大幅缩短、效率提升。另一方面，多模态AI使得虚拟数字人的交互能力更上一个台阶，随着AI技术的不断完善，数字人的感知能力（例如现在数字人对语言的理解主要以文本为主，未来有望实现多模态输入）、思维能力、内容输出能力都将得到显著改善，在思想、语言、行为上和人更加接近、更加智能化。
AI 赋能下 XR 产业链有望迎来逻辑重构、深度受益。MR叠加AIGC也将让元宇宙加速实现质变，推动新一代人机交互范式革命。
智能汽车：是大模型进入终端的另一个非常重要的市场
自动驾驶技术在2023年有望迎来拐点，AI大模型的赋能加速了产业拐点的到来。从应用角度来看，大模型运行在智能汽车的首要推动力就是大模型确实能给智能驾驶相关的任务带来客观的性能提升。
智能驾驶大模型=NeRF神经辐射场+BEV鸟瞰视角+Occupancy Network占用网络+端到端。
（1）由模块化/小模型到端到端大模型。传统自动驾驶算法以模块化部署，功能实现依托众多独立小模型的堆叠，存在累积错误/任务协调不足/维护难度与成本高等问题。AI 技术将“场景-驾驶行为”的映射转变为“场景-车辆控制”的“端到端”式映射，更大程度的提高模型的泛化能力，未来端到端自动驾驶大模型将实现对模块化/小模型的替代，即可减少运算过程中的误差累积，也可减少模型的优化难度与维护成本。
（2）由基于规则的算法到基于BEV+Transformer的深度学习。基于规则的算法存在应变能力差，驾驶操作不熟练，学习成本高等缺点，因此仅通过规则算法实现等同于或高于人类驾驶员的自动驾驶行车体验存在很大难度。基于BEV+Transformer结构的大模型是当前主流发展方向，可搭建出高准确率3D 感知模型，并具有很强的Corner case解决能力，同时，BEV+Transformer大模型还可赋能数据标注、长尾数据挖掘、仿生场景数据生成等工作。
（3）智能驾驶的进一步进化：去高精地图+占用网路。未来自动驾驶技术去除高精地图辅助将成为主流趋势，核心解决方案为BEV结构的搭建和NPN网络的应用。此外，未来也将有更多车企通过占用网络技术（Occupancy）进一步提升大模型泛化能力，进而使自动驾驶模型应对Corner case时更加得心应手。
去年，以BEVformer为代表的端到端鸟瞰摄像头大模型可以说是大模型在智能汽车领域的第一个里程碑，它把多个摄像头的视频流直接输入使用transformer模块的大模型做计算，最后的性能比之前使用传统卷积神经网络（CNN）模型的结果好了接近10个点，这个可谓是革命性的变化。而在上个月召开的CVPR上，商汤科技发布的UniAD大模型更是使用单个视觉大模型在经过统一训练后去适配多个不同的下游任务，最后在多个任务中都大大超越了现有最好的模型：例如，多目标跟踪准确率超越了20%，车道线预测准确率提升 30%，预测运动位移和规划的误差则分别降低了 38% 和 28%。
目前，汽车企业（尤其是造车新势力）已经在积极拥抱这些智能汽车的大模型，BEVformer（以及相关的模型）已经被不少车企使用，我们预计下一代大模型也将会在未来几年逐渐进入智能驾驶。如果从应用角度考虑，智能汽车上的大模型必须要在终端设备上运行，因为智能汽车对于模型运行的可靠性和延迟要求非常高，在云端运行大模型并且使用网络把结果传送到终端无法满足智能汽车的需求。
具身智能+智能机器人：多模态大模型下一步演进方向，通用人工智能时代的终极智能终端
边缘AI、具身智能与机器人本质三位一体。边缘AI是产业趋势，具身智能是内在逻辑（AI自我提升需要人与环境的交互数据集中在终端），机器人是终极应用——给大模型的“脑子”装上“手”和身体，AI+硬件终极应用。
（1）具身智能(Embodied AI)是能够理解、推理并与物理世界互动的智能系统，需要AI智能体与周围的环境和人的交互，能自我成长。具身智能比GPT更进一步，能够通过自己的物理躯体来与环境交互感知，然后自主进行规划、决策和行动，而不是被动的等待数据投喂，具身AI不再像传统AI仅从图像、视频、文本等数据库中学习，而是基于自身传感器（多是视觉传感器）感知环境并通过与环境交互进行学习，具身智能所需要的AI能力包括基础VQA能力（视觉）、导航和操作能力（跨模态）。
（2）边缘AI终端应用生态满足了具身智能训练中AI与周边的人与环境充分交互的需求，是具身智能AI落地的重要基础。
（3）大模型对于具身智能的提升包括（a）通过抽象的自然语言直接对机械智能控制，（b）Zero shot下的CV能力：图像分类、语义分割、目标检测、实例分割、物体追踪，（c）更多跨模态的理解能力。大语言模型与机器人结合，产生了不错的效果。如视觉-操作、视觉-导航任务（视觉语言导航指通过自然语言让智能体（agent）到环境中的某个位置， 视觉语言操作指通过自然语言让智能体进行某些操作如取放物体）。
目前的机器人只能按照特定的编程指令进行固定的工作，普通消费者和用户无法与机器人进行沟通或者设定更加复杂的任务。
ChatGPT等大语言模型和具身智能在历史上首次使得AI可以理解并帮助人类，拓宽了人形机器人可应用的开发领域，不同于传统机器人仅具有“物理”执行力，大模型可通过将图像、文字、具身数据联合训练，引入多模态输入，进而提升大模型和环境的交互能力和学习能力，为机器人注入了“灵魂”。GPT-4赋予机器人高质量的连续对话能力，Meta发布SAM模式有望助力机器视觉迎来GPT时刻，具身智能进一步给机器人“赋智”，使其做到“能听、能看、能说”，就相当于机器人拥有的大脑，各种形态的机器人的普及率有望大幅提升。加上在硬件方面，特斯拉等科技公司的入局使得规模化效应带来的降本可期，人形机器人有望在广阔的消费市场迎来自己的iPhone时刻。
结语
受益于强人工智能、新一代人机交互与协作范式的破茧成蝶，生成式AI与终端的融合将重新定义手机及各种终端创新，形成新供给，创造新需求，催生出新的终端产业创新结构，加速终端创新的新周期到来，走向一个新的智能时代。
作者简介
龚斌
延伸阅读：天鹅奖
编辑 / 钱江